Phòng Huyền Linh là người Lâm Tri, Tề Châu (齐州; nay là Tri Bác, tỉnh Sơn Đông). Cha ông là Phòng Ngạn Khiêm (房彦謙), xuất thân Thanh Hà Phòng thị gia tộc, làm Huyện lệnh tại huyện Kính Dương. Mẹ ông xuất thân từ Lũng Tây Lý thị (陇西李氏), Cô Tang phòng, là đường tỉ muội của Lý Huyền Đạo (李玄道). Khi còn nhỏ, ông là người chịu khó, thông minh, cần cù, thông thạo kinh sách. Năm 594, ông đỗ Tiến sĩ tại bản châu, nhận chức Vũ Kỵ Úy (羽骑尉).

Cuối đời nhà Tuỳ, Tùy Dạng đế cùng tập đoàn thống trị ăn chơi sa đọa, bạo ngược, gây chiến tranh liên miên và bị thất bại, nhân dân phải chịu cuộc sống cực khổ, loạn lạc.

Năm 617, Lý Uyên (sau này là Đường Cao Tổ) đã dấy binh tranh quyền bính từ Tùy Dạng đế, được nhân dân khắp nơi ủng hộ. Cha con Lý Uyên đi đến đâu cũng thu nhận hào kiệt, dùng người tài. Nhân sĩ, trí thức khắp nơi xuống núi tìm minh chủ cho mình và Phòng Huyền Linh cũng là một trong số đó. Khi gặp được Phòng Huyền Linh, Lý Thế Dân rất mừng vì đã nghe tiếng ông từ lâu.

Tần vương Lý Thế Dân, là người con trai thứ 2, vốn có mâu thuẫn với Thái tử Lý Kiến Thành và Tề vương Lý Nguyên Cát là con trai thứ tư của Đường Cao Tổ, do việc tranh giành ngôi vua. Lý Thế Dân đã từng bị Tề vương đầu độc, may được cứu chữa kịp thời nên mới qua khỏi. Thấy tình hình như vậy, Phòng Huyền Linh đã bàn với Trưởng Tôn Vô Kị để giúp Lý Thế Dân đánh bại âm mưu của Tề vương cũng như Thái tử câu kết với nhau nhằm triệt hạ Lý Thế Dân. Lý Thế Dân đã bàn với các mưu sĩ phải hạ thủ 2 người này. Sự biến cửa Huyền Vũ nổi tiếng chính là nói về việc hạ thủ hai người này. Sự việc xảy ra nhanh chóng, Cao Tổ chẳng kịp làm gì và từ đó, mọi quyền hành đành giao phó cho Lý Thế Dân.

Năm 627, Lý Thế Dân lên ngôi, tức là Đường Thái Tông, đặt niên hiệu Trinh Quán, ban thưởng cho các trung thần. Phòng Huyền Linh, Trưởng Tôn Vô Kị, Uất Trì Kính Đức, Hầu Quân Tập và Đỗ Như Hối được phong tước công, hưởng nhiều bổng lộc. Trong những năm Đường Thái Tông bắt đầu cai trị, Phòng Huyền Linh thực sự là nhà tham mưu tốt về chính trị, quân sự và kinh tế. Ông được phong làm Trung thư lệnh, thuộc hàng cao cấp nhất.

Năm Trinh Quán thứ 3 (629), thăng Thượng thư Tả phó xạ. Năm Trinh Quán thứ 11 (637), gia phong tước vị Lương Quốc công (梁国公). Năm Trinh Quán thứ 16 (642), thăng làm Tư không, tổng lý triều chính.

Gia đình ông theo đó cũng hiển quý. Con trai cả Phòng Di Trực (房遺直) trở thành Thái trung Đại phu, kiêm chức Tư nghiệp ở Quốc tử giám. Người con trai thứ hai của ông Phòng Di Ái (房遺愛) thì trở thành phò mã, lấy Cao Dương công chúa. Con trai út Phòng Di Nghĩa (房遗义) làm Thái tử Xá nhân, Cốc Châu Thứ sử. Con gái đầu của ông được gả cho Hàn vương Lý Nguyên Gia (李元嘉), là con trai của Đường Cao Tổ. Người con gái út lấy Trịnh Nhân Khải (郑仁恺), làm Thứ sử Mật Châu và Bạc Châu.

Đến năm Trinh Quán thứ 14 (640), Đường Thái Tông lập Lý Trị làm Thái tử. Vào lúc này, Phòng Huyền Linh đã ở tuổi 70, được Hoàng đế cấc nhắc phong cho chức Thái phó của Thái tử. Càng về sau, Lý Thế Dân do thu được nhiều chiến công nên đã tỏ ra kiêu ngạo, ưa xiểm nịnh, đưa quân đi tàn sát nhiều người.

Năm Trinh Quán thứ 22 (648), quân Đường tiến đánh Cao Câu Ly, bị Phòng Huyền Linh phản đối mạnh mẽ: "Hiện nay Cao Câu Ly có xâm phạm nước ta đâu, tương lai họ cũng không dám gây chiến tranh xâm lược. Do đó chúng ta đánh Cao Câu Ly là hoàn toàn sai lầm". Đường Thái Tông nghe ra và đến năm Trinh Quan thứ 23 (649), sau khi Thái Tông băng hà, quân Đường rút về nước và cuộc chiến chấm dứt.

Tháng 6 năm Trinh Quán thứ 22 (648), ngày 18 tháng 8, Phòng Huyền Linh qua đời, thọ 71 tuổi. Ông được an táng tại Thái Thạch Sơn, Tế Nam, tỉnh Sơn Đông. Mộ Phòng Huyền Linh được đặt cạnh lăng tẩm Đường Thái Tông, ông được phong làm Tể phụ, thụy hiệu là Văn Chiêu (文昭).